- 综合排序
- 最热优先
- 最新优先
亚马逊数据采集 API 架构设计：同步 vs 异步的规模化实践
亚马逊商品数据的采集，从单一验证查询扩展到持续性监控时，架构选型的差异会被数据量级放大成量级差异的运营影响。 异步亚马逊数据采集架构通过任务提交与结果接收的解耦，将此时间压缩至30~60分钟级别。 parserName":"amzProductDetail"}#约200ms返回taskId，结果通过回调推送完整代码实现（Python+FastAPI）展开代码语言：PythonAI代码解释"""企业级异步亚马逊数据采集系统 ="https://scrapeapi.pangolinfo.com/api/v1/scrape/async"SYNC_API_URL="https://scrapeapi.pangolinfo.com 实施建议任务量<100/天：直接使用同步API，开发成本最低，无需额外基础设施任务量100~1000/天：同步多线程或异步API均可，优先评估团队能否维护回调服务任务量>1000/天：异步API是唯一可持续的选择
5300编辑于 2026-04-14- 来自专栏物流IT圈
异步 API 的设计
网站的前后端通信，往往会有异步请求，这时应该怎么设计 API？ 我最近读到一篇文章，作者介绍了他的做法，设计得很精细，我觉得值得借鉴，可以当作异步 API 的标准设计。 一、同步 API 为了便于比较，先看看同步 API 的设计。下面是一个很简单的例子。 客户端发出一个请求，要求创建资源。 三、查询进展 过了一段时间，客户端就发出请求，查询异步处理的进展。 GET https://api.service.io/queue/12345 服务器回应 200。 数据体里给出提示，异步操作已成功或还需要等待。 四、异步操作成功 有一种特殊情况，用户查询异步操作的进展的时候，可能会希望，如果异步操作已经完成，就直接跳转到新资源。 这时，服务器回应 303。 五、删除查询链接 一旦异步操作完成，客户端可以要求服务器删除查询链接。 DELETE https://api.service.io/queue/12345 服务器回应 204。
79931发布于 2019-07-16 - 来自专栏阮一峰的网络日志
异步 API 的设计
网站的前后端通信，往往会有异步请求，这时应该怎么设计 API？ 我最近读到一篇文章，作者介绍了他的做法，设计得很精细，我觉得值得借鉴，可以当作异步 API 的标准设计。 一、同步 API 为了便于比较，先看看同步 API 的设计。下面是一个很简单的例子。 客户端发出一个请求，要求创建资源。 三、查询进展 过了一段时间，客户端就发出请求，查询异步处理的进展。 GET https://api.service.io/queue/12345 服务器回应 200。 数据体里给出提示，异步操作已成功或还需要等待。 四、异步操作成功 有一种特殊情况，用户查询异步操作的进展的时候，可能会希望，如果异步操作已经完成，就直接跳转到新资源。 这时，服务器回应 303。 五、删除查询链接 一旦异步操作完成，客户端可以要求服务器删除查询链接。 DELETE https://api.service.io/queue/12345 服务器回应 204。
1.5K20发布于 2018-12-25 - 来自专栏小工匠聊架构
Kafka - 异步同步发送API
异步发送 普通异步发送 需求：创建Kafka生产者，采用异步的方式发送到Kafka broker 异步发送流程 Code <! 4 36 over - 5 37 over - 6 38 over - 7 39 over - 8 40 over - 9 忽略我这个offset … 我都发了好多次了… 看控制台的吧 带回调函数的异步发送 回调函数callback（）会在producer收到ack时调用，为异步调用。 如果Exception为null，说明消息发送成功， 如果Exception不为null，说明消息发送失败 带回调函数的异步发送流程 注意：消息发送失败会自动重试，不需要我们在回调函数中手动重试。 关闭资源 kafkaProducer.close(); } } 控制台 同步发送API 同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回ack。
89720编辑于 2023-10-27 - 来自专栏影子
java8 异步api、循环、日期
java8 异步api、循环、日期 转载请注明出处：https://www.cnblogs.com/funnyzpc/p/10801470.html 异步api 对于多任务耗时的业务场景，一般我们会用到线程异步处理 ,在以前我们用 Thread 或者 Runnable 来实现异步，这是oracle官方做法，不过缺点很明显 对于复杂业务场景需要配置线程池 代码繁杂，对于新手容易造成不必要的bug 如果涉及到线程锁或线程通讯就棘手了 主要方法有: runAsync() 异步无参返回 样例: @Test public void asyncThread()throws Exception{ CompletableFuture async1.get(); } supplyAsync() 异步有参返回 样例: @Test public void asyncThread2()throws Exception String result2 = async2.get(5L, TimeUnit.SECONDS); System.out.println(result); } allOf() 多个异步处理
1.1K60发布于 2019-07-04 - 来自专栏王亚昌的专栏
【Zookeeper】Leader选举机制示例（异步API）
上一篇文章中介绍了如何用同步API实现Leader选举机制，本文也借用本一个场景，简单介绍异步API的使用。管理异步API的使用，可以方便大家在一些单进程系统中使用zk。 提到异步API的使用，需要先了解zk里的线程模型。 zoo_aget，zoo_acreate等异步函数将直接向服务器端发送请求数据。 从线程模型上看，需要注意，在主线程中使用zk数据时，主要做好和completion线程的数据同步，避免出现读写竞争。
90510发布于 2018-08-03 - 来自专栏happyJared
API 网关的设计：异步化请求
对于统一的网关层，如何用少量的机器接入更多的服务，这就需要用异步来实现，用来提高更多的吞吐量。 对于异步化，一般有以下两种策略： Tomcat/Jetty + NIO + Servlet3 这种策略使用的比较普遍，京东、有赞、Zuul，选取的都是这个策略，这种策略比较使用于 HTTP 的场景，在 Servlet3 中可以开启异步。
1.8K20发布于 2019-12-11 - 来自专栏AI SPPECH
89_批量推理：异步API调用
异步API调用作为一种更高效的处理模式，通过非阻塞操作和并发处理能力，为批量推理场景提供了理想的解决方案。 本文将深入探讨批量推理中异步API调用的核心概念、实现技术、优化策略以及最佳实践。 此外，我们还将讨论性能优化技术、错误处理策略以及未来发展趋势，为读者提供全面而实用的批量推理异步处理指南。 为什么选择异步API调用？ 异步编程基础 同步与异步的本质区别 要理解异步API调用，首先需要明确同步和异步编程的本质区别。 aiohttp是基于asyncio的异步HTTP客户端/服务器框架，提供了高性能的异步HTTP请求功能。 httpx是另一个现代化的异步HTTP客户端，支持同步和异步两种API风格。 ，越来越多的工具和框架被开发出来，以简化异步API调用的实现和管理： 更高级的异步HTTP客户端：除了aiohttp和httpx外，新的异步HTTP客户端不断涌现，提供更简洁的API和更好的性能 自动伸缩的异步服务
31910编辑于 2025-11-16 - 来自专栏学谦数据运营
PowerBI API异步刷新教程
因此，出现了“异步刷新”的概念。 PowerBI desktop异步刷新 所谓“异步刷新”指的是PowerBI模型中，仅对个别或者局部的表进行刷新，其他表不进行刷新的操作。 /v1.0/myorg/groups/{groupId}/datasets/{datasetId}/refreshes 从链接中我们可以得到异步刷新的整个逻辑链条： 而这个api连接方式其实就是在Refresh 我们去刷新结果里看看： 我分别对这个数据集进行了手动、API全部刷新和API异步刷新，三次刷新的结果显示是不同的： 手动刷新会显示“按需”，走API的会显示“via api”，但是第三次的异步刷新， 我们先观察一下不同刷新方式消耗的时间： 手动刷新基本上在10秒钟以上，走api的全模型刷新也差不多，但是异步刷新只需要5秒。 对于小模型而言，5秒钟和10秒钟的差距并不大。 但是对于一些较大模型来说，刷新整个报告，无论是手动还是api还是计划刷新，往往都需要几分钟甚至几十分钟，但是异步刷新其中的一个或几个表仅仅需要几秒钟时间： 可以极大地提高刷新效率！
4.2K20编辑于 2022-02-17 - 来自专栏BestSDK
Google亚马逊相继开放语音API，全面争夺AI市场
这也是在与亚马逊，Facebook和苹果的技术竞赛中，炫耀自己AI能力的方法。 ? 亚马逊在本周三表示，其数字助理Alexa背后的人工智能和语音识别软件现在向所有云计算客户开放。 亚马逊的Lex服务允许开发者依靠语音识别和深度学习技术，开发对话应用。开发者可以不用重新造轮子，直接调用接口就行。 这也表明，亚马逊计划在向Alexa平台做了大量投入后，想获得回报。 无独有偶，就在前一天Google云也向所有用户开放语音接口Cloud Speech API，并且新版本的语音软件在准备性上有所提升，可以完成转录和语音命令等任务。 这也是在与亚马逊，Facebook和苹果的技术竞赛中，炫耀自己AI能力的方法。 除了语音API，Google还有其他预先训练的机器学习模型，可用于视频分析，图像分析，文本分析和动态翻译。 在价格方面，亚马逊会根据为开发者处理的文本和语音的量进行收费。Google暂时未知，但应该会采用同样的方式。
1.7K50发布于 2018-02-28 - 来自专栏程序员的知识天地
python基础教程：异步IO 之 API
到了Python最新稳定版 3.7 这个版本，asyncio又做了比较大的调整，把这个库的API分为了 高层级API和低层级API，并引入asyncio.run()这样的高级方法，让编写异步程序更加简洁 asyncio的低层级API用以支持开发异步库和框架： 创建和管理事件循环（event loop），提供异步的API用于网络，运行子进程，处理操作系统信号等； 通过transports实现高效率协议； asyncio高级API 高层级API让我们更方便的编写基于asyncio的应用程序。这些API包括： （1）协程和任务 协程通过 async/await 语法进行声明，是编写异步应用的推荐方式。 低层级API为编写基于asyncio的库和框架提供支持，有意编写异步库和框架的大牛们需要熟悉这些低层级API。 总结 Python 3.7 通过对asyncio分组使得它的架构更加清晰，普通写异步IO的应用程序只需熟悉高层级API，需要写异步IO的库和框架时才需要理解低层级的API。
1.1K20发布于 2019-05-15 - 来自专栏前端下午茶
Node中的事件循环和异步API
1.1 异步I/O 在Node中，JS是在单线程中执行的没错，但是内部完成I/O工作的另有线程池，使用一个主进程和多个I/O线程来模拟异步I/O。 注：Node很多API都是基于事件订阅完成的，这些API的回调应该都在poll阶段完成。 Node的很多API都是基于事件订阅完成的，比如fs.readFile，这些回调应该都在poll阶段完成。 5. check setImmediate()在这个阶段执行。 非I/O的异步API Node中除了异步I/O之外，还有一些与I/O无关的异步API，分别是：setTimeout()、setInterval()、process.nextTick()、setImmediate 它使用libuv的API来设定在 poll 阶段结束后立即执行回调。
2.2K30发布于 2018-10-22 - 来自专栏Miigon's Blog
C++ gRPC 异步 API 实例与优势
我已经读过了 gRPC 文档，但是我并没有找到对于同步/异步 API 的区别的清晰解释。 我只知道异步 API 可以控制完成队列（completion queue），而对于同步 API 来说是不可视的。 我的理解是同步 gRPC 会发送消息到 TCP 层，然后等待收到 “ack”，因此下个消息会被阻塞，而异步 API 会异步地发送消息，而不需要后面的消息等待前面的消息。 TLDR: 是的，异步 API 发送消息不会造成后面消息等待，而同步 API 在发送/接收数据的时候，会把整个线程阻塞起来。 gRPC 的异步操作使用 完成队列（CompletionQueue）。 相关信息 你可以看 同步 API 和 异步 API 的服务器各自是怎么编写。
1.9K20编辑于 2022-10-27 - 来自专栏JS菌
如何使用异步剪切板 AsyncClipboard API
如何使用异步剪切板 AsyncClipboard API ⭐️ 更多前端技术和知识点，搜索订阅号 JS 菌 订阅 长时间我们一直在使用 document.execCommand 来与剪切板做交互，尤其是基本上都在使用 无论如何，异步剪切板 Async Clipboard API 这个 API 在 Chrome 66 版本以上得到了支持： 我们可以在新版本中使用这个异步版本的剪切板，那么具体该如何使用这个 API 呢 权限 使用这个 API 当然是需要获取权限的，我们可以使用 PaymentRequest 这个 API 来监听是否拥有这个权限： 对应的有两个 query 查询条件： { name: 'clipboard-read
1.9K40发布于 2019-04-10 - 来自专栏EDI技术知识
如何与亚马逊Amazon供应商平台集成？——EDI or API
亚马逊Amazon供应商平台支持通过EDI和API两种方式进行集成，不禁开始思考到底该选择哪种方式来集成？ 亚马逊在众多培训课程中告诉或鼓励供应商“使用EDI”进行数据传输。在亚马逊网络研讨会上，将EDI和API的集成视为“已完成的事情”。 以获取订单为例，供应商在向亚马逊请求获取订单时，如果选择API调用，就需要定时向亚马逊发送请求，建立连接，主动获取订单；而如果使用EDI，亚马逊产生订单后会主动推送至客户系统，无需重复请求。 例如，您可能有一个现有的B2B EDI供应商可以为您集成到亚马逊供应商平台，或者您可能已经有一个API设置并且有IT能力实现与亚马逊平台的集成。 亚马逊供应商平台集成的要点 集成的相关优势：自动化、精简和可扩展性 集成可以通过EDI或API实现，两者之间没有太大的区别，API适合Direct Fulfillment，而EDI的功能范围稍宽一些。
1.7K50编辑于 2021-12-13 - 来自专栏神光的编程秘籍
Node.js 异步 api 的本质和 libuv
Node.js 是一个 Javascript 的运行时，提供了系统能力的 api，主要是文件、网络相关的 IO api，而 IO api 的实现是在 libuv，提供了同步异步两种形式的 api。 第二种是提供事件循环机制，提供一系列异步 api，这些异步 api 最终是由线程来执行的，但是开发者不需要手动管理线程。javascript 是这种。 这些操作系统 api 有的是异步的，有的不是，对于不是异步 api 的那些，就要由 libuv 的线程池中的线程来执行，变成异步的形式。 异步最终是由线程实现的，但是提供给开发者的有两种形式：一种是提供线程 api，让开发者自己管理线程，另一种方式就是提供事件循环，对于异步 api 通过线程来实现。 Node.js 提供的 api 有 3 种形式，一种是同步的，一种是异步 callback、一种是异步 promise。
1.4K20发布于 2021-09-03 - 来自专栏zhang
微信小程序之同步与异步API
小程序将微信原生API分为"事件监听 API"、"同步 API"、"异步API"三类，本文我们主要介绍"同步 API"、"异步API"。 1.同步 API 同步API在名称上面有什么特点？ 同步API会阻塞当前线程。 注：如果API直接返回了我们需要的数据，那么就可以认为这个API是同步模式的 2.异步 API 小程序开发框架提供的微信原生 API以异步模式居多还是同步模式居多？ 小程序开发框架提供的微信原生 API大多数都是异步的，例如如wx.request，wx.login等 怎么理解异步模式的微信原生 API？ 参考图示： image.png 异步API不会阻塞当前线程 异步API是否会有返回值？ 注：如果API的返回值是undefined或者返回的不是我们的目标数据，那么就可以认为此API是异步API 二、演示Demo 1.异步API非阻塞线程 小程序端 async.wxml <!
5.3K40发布于 2020-04-27 现代异步存储访问API探索：libaio、iouring和SPDK
疑问1：什么是系统调用，read 阻塞调用后进程sleep 状态，cpu 采用什么机制唤醒进程 而使用异步I/O接口，如aio，线程把I/O请求发送给内核后可以继续做其他工作，直到内核把I/O请求完成的信号发送给线程 通常，异步I/O接口效率更高，其中的核心系统调用是io_submit（用于提交I/O请求）和io_getevents（用于获得完成的I/O请求）。 纯读负载能达到更高的IOPS，而高IOPS有助于分析不同API的可扩展性趋势和每个I/O操作的开销。除了io_uring外，其他API均使用默认配置。 ② SPDK在所有场景下性能最好，也是唯一达到驱动带宽上限的API。 在J=12时，iou+k和iou、iou+p的KIOPS交汇，在J=14时，iou+k成为性能最差的API。其他的API随着job的增长，KIOPS也基本上稳定增长。
75810编辑于 2025-06-13- 来自专栏Tom弹架构
基于Guava API实现异步通知和事件回调
本文节选自《设计模式就该这样学》 1 基于Java API实现通知机制 当小伙伴们在社区提问时，如果有设置指定用户回答，则对应的用户就会收到邮件通知，这就是观察者模式的一种应用场景。 有些小伙伴可能会想到MQ、异步队列等，其实JDK本身就提供这样的API。我们用代码来还原这样一个应用场景，首先创建GPer类。 [file] 2 基于Guava API轻松落地观察者模式 笔者向大家推荐一个实现观察者模式的非常好用的框架，API使用也非常简单，举个例子，首先引入Maven依赖包。 GuavaEvent(); eventbus.register(guavaEvent); eventbus.post("Tom"); } } 3 使用观察者模式设计鼠标事件响应API
98410发布于 2021-11-17 - 来自专栏Tom弹架构
基于Guava API实现异步通知和事件回调
本文节选自《设计模式就该这样学》 1 基于Java API实现通知机制 当小伙伴们在社区提问时，如果有设置指定用户回答，则对应的用户就会收到邮件通知，这就是观察者模式的一种应用场景。 有些小伙伴可能会想到MQ、异步队列等，其实JDK本身就提供这样的API。我们用代码来还原这样一个应用场景，首先创建GPer类。 2 基于Guava API轻松落地观察者模式 笔者向大家推荐一个实现观察者模式的非常好用的框架，API使用也非常简单，举个例子，首先引入Maven依赖包。 (); eventbus.register(guavaEvent); eventbus.post("Tom"); } } 3 使用观察者模式设计鼠标事件响应API
1K30编辑于 2021-12-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号